Phạm Hạp sinh ra trong một gia đình có truyền thống võ nghệ. Ông nội là Phạm Lệnh Công, giữ chức Đông giáp tướng quân đời Ngô Quyền. Cha là Phạm Mạn, làm tham chính đô đốc đời Ngô Nam Tấn vương Ngô Xương Văn, mẹ là Trần Thị Hồng. Ông bà có tám người con, 5 trai, 3 gái đều hiển đạt.

Ngay từ nhỏ Phạm Hạp đã tỏ rõ tư chất thông minh, có chí lớn, văn võ đều thấu hiểu. Ông thường cùng em trai là Phạm Cự Lạng đem tiền của chiêu dụ mọi người, mua ngựa luyện quân.